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(57) Abstract: The invention 
relates to a method for automati- 
cally applying and controlling a 
structure applicable to a substrate, 
preferably a glue crawler or a glue 
track and a device for carrying out 
said method, wherein a reference 
outline is determined by at least 
one camera in a forward direction 
and, in particular a component 
edge is determined between two 
connectable elements in such 
a way that the profile of the 
applicable structure is controlled 
according to said reference outline, 
wherein said applicable structure 
is applied to the substrate by an 
application device according to 
the reference outline determined by 
the first camera and said stricture 
is controlled by at least one second 
camera in a tracking direction. The 
inventive device for automatically 
applying and controlling a structure 
comprises at least one lighting 
module and one sensor unit 
consisting of at least two cameras 

disposed around the application device in such a way that al least one camera is provided in the forward direction for controlling 
said application device with the aid of the reference outline and at least one second camera is provided in the tracking direction for 
simultaneously online monitoring the structure applied to the substrate. 
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(57) Zusammenfassung: Es wird ein Verfahren zum auto matisc hen Aufbringen und Uberwachen einer auf einem Substrat auf- 
zubringenden Struktur, vorzugsweise einer Kleberraupe oder Kleberspur sowie eine Vorrichtung zur Durchfuhrung des Verfahrens 
beschrieben, wobei eine Referenzkontur von zumindest einer ersten Kamera in Vorlaufrichtung ermittelt wird, wobei insbesondere 
eine Bauteilkante vorzugsweise zwischen zwei zu verbindenden Elementen ermittelt wird, um den Verlauf der aufzubringenden 
Struktur gemass der Referenzkontur zu regeln, wobei die von der ersten Kamera aufgenommenen Bilder zur Fuhrung einer Auf- 
tragseinrichtung for die aufzubringende Struktur verwendet werden, wobei die aufzubringende Struktur von der Auftragseinrichtung 
gemass der von der ersten Kamera ermittelten Refernzkontur auf das Substrat aufgebacht wird, und wobei die durch die Auftrags- 
einrichtung auf dem Substrat aufgebrachte Struktur durch zumindest eine zweite Kamera in Nachlaufrichtung uberwacht wird. Die 
Vorrichtung zurn automatischen Aufbringen und Uberwachen der aufzubringenden Struktur weist zumindest ein Beleuchtungsmodul 
und eine Sensoreinheit auf, wobei die Sensoreinheit aus mindestens zwei Kameras aufgebaut ist, wobei die Kameras um eine Auf- 
tragseinrichtung fur die aufzubringende Struktur vorgesehen sind und an dieser derart angeordnet sind, dass zumindest eine Kamera 
in Vorlaufrichtung zur Regelung der Auftragseinrichtung mittels einer Referenzkontur und zumindest eine Kamera in Nachlaufrich- 
tung zur gleichzeitigen Online-Uberwachung der auf dern Substrat aufgebrachten Struktur vorgesehen ist. 
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Verfahren zum automatischen Aufbringen und Oberwachen einer auf einem Substrat aufzubrin- 

aenden Struktur sowie eine Vorrichtung hierfur 

Die vorliegende Erfindung betrifft ein Verfahren zum automatischen Aufbringen und Oberwachen 
einer auf einem Substrat aufzubringenden Struktur sowie eine entsprechende Vorrichtung hierfQr. 

Herkommlicherweise werden bislang zum Erkennen einer auf einem Substrat aufzubringenden 
Struktur optische Vermessungen durchgefuhrt, wobei haufig verschiedene Systeme zur vollauto- 
matischen Prufung der Struktur, u.a. Kiebstoff und Dichtmittelraupen, verwendet werden. Hierzu 
werden mehrere Videokameras auf die zu erkennende Struktur gerichtet, wobei zusatzlich ein 
Beleuchtungsmodul erforderlich ist, das zur Erzeugung eines kontrastreichen Kamerabildes dient. 

Urn eine Kleberraupe bzw. Kleberspur beim Auftragen Oberwachen zu konnen, ist es erforderlich, 
dass eine Referenzkleberspur eingelernt wird, d.h. von der Kamera bzw. den Kameras abgefah- 
ren wird, urn daraus entsprechende Parameter zu berechnen, nach denen die aufgebrachten 
Kleberspuren daraufhin bewertet werden. 

Jedoch werden einzelne Bauteile nicht stets in der gleichen Position mittels der Fordertechnik zu 
der Auftragseinrichtung bzw. zur Vorrichtung zum automatischen Aufbringen und Oberwachen 
zugefuhrt. Ferner ist es bei dem Aufbringen einer Klebstoffspur auf den Falz oder eine Fugenaht 
erforderlich, dass die vorgegebenen Toleranzen der einzelnen Bauteile bzw. der Lage der einzel- 
nen FUgenahte bzw. Falze korrigiert werden. 

Dardber hinaus besteht Bedarf nach einem Verfahren zum automatischen Aufbringen und Ober- 
wachen einer auf einem Substrat aufzubringenden Struktur, vorzugsweise eine Kleberraupe oder 
Klebstoffspur, wobei die Auftragsstruktur bzw. Klebstoffspur mit hoher Genauigkeit wahrend des 
Auftragens Qberwacht wird. 

Somit ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum automatischen Aufbringen 
und Oberwachen einer auf einem Substrat aufzubringenden Struktur bereit zu stellen, wobei die 
Auftragsstruktur bzw. Kleberspur mit hoher Genauigkeit wahrend des Auftragens Qberwacht wird, 
und wobei eine automatische FOhrung der Auftragseinrichtung bzw. eine Positionskorrektur in 
bezug auf Lagetoleranzen der einzelnen Bauteile bzw. der Toleranzen von Fugenahten oder ahn- 
lichem ermoglicht wird. 
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Ferner ist es Aufgabe der vorliegenden Erfindung eine geeignete Vorrichtung zur DurchfQhrung 
des erfindungsgemalien Verfahrens bereitzu stellen. 

Diese Aufgaben werden verfahrenstechnisch mit den Merkmalen von Anspruch 1 sowie vorrich- 
tungstechnisch mit den Merkmalen von Anspruch 15 gelost. 

Gemafc der Erfindung wird ein Verfahren zum automatischen Aufbringen und Oberwachen einer 
Klebstoffspur auf ein Substrat bzw. Bauteil, insbesondere einen Falz oder einer FQgenaht, vorge- 
schlagen, wobei eine Referenzkante bzw. Referenznaht von einer ersten Kamera in Vorlaufrich- 
tung der Auftragseinrichtung ermittelt wird, urn die Auftragseinrichtung gemafc der Referenzkante 
bezQglich der aufgenommenen Bildern der ersten Kamera zu steuern bzw. zu regeln. Gleichzeitig 
bzw. unmittelbar nach dem Aufbringen der Klebstoffspur auf das Substrat bzw. den Falz oder 
Stofc der Bauteile wird eine Online-Oberwachung der aufgebrachten Klebstoffspur in Nachlauf- 
richtung von einer zweiten Kamera vorgenommen, d.h. die Klebstoffspur wird auf das Substrat 
aufgebracht und daraufhin Qberpruft die zweite Kamera die Qualitat der soeben aufgebrachten 
Klebstoffspur. ErfindungsgemafJ ermoglicht dies gleichzeitig eine Nahtfuhrung far zwei zu verkle- 
benden Bauteile sowie eine Online-Oberwachung des Klebstoffauftrags bzw. Dichtmittelauftrags. 
Somit wird eine Reduzierung des aufgebrachten Dichtmittels erreicht, da aufgrund der NahtfQh- 
rung und gleichzeitigen Kontrolle lediglich ein geringer Materialaufwand aufgrund des Toleranz- 
ausgleichs erforderlich ist. 

Weitere vorteilhafte Ausgestaltungen ergeben sich aus den UnteransprUchen. So ist es fQr eine 
dreidimensionale Positionskorrektur in bezug auf Lagetoleranzen der einzelnen Bauteile bzw. 
Toleranzen von FQgenahten vorteilhaft, wenn die Referenzkontur bzw. ein Merkmal von zumin- 
dest zwei Kameras ermittelt wird, urn eine dreidimensionale Positionskorrektur fQr die Auf- 
tragseinrichtung mit Hilfe des Stereometrieverfahrens durchzufQhren. 

Ferner ist es von Vorteil, wenn die beiden Kameras das Substrat, einen Bauteilabschnitt oder ein 
oder mehrere Bauteile als Vollbild oder Grofcbild aufnehmen, wobei die Vollbilder oder Grofcbilder 
der beiden Kameras einen Oberlappungsbereich in Vorlaufrichtung aufweisen, und wobei die sich 
im Oberlappungsbereich ergebende dreidimensionale Lageerkennung der Referenzkontur zur 
Grobjustierung der Auftragseinrichtung vor dem Aufbringen der Struktur verwendet wird. Dabei 
wird der Auftragseinrichtung bzw. dem Roboter entsprechende Korrekturwerte Gbermittelt urn 
dessen Koordinatensystem fur den Klebstoffauffcrag zu verschieben. 

Wenn eine Projektion zur dreidimensionalen Auswertung auf den Bereich der Referenzkontur 
aufgebracht wird, insbesondere wenn eine oder mehrere Laserlinien als Projektion auf das Sub- 
strat aufgebracht werden, dann kann eine dreidimensionale Profilauswertung hinsichtlich der 



-2- 



WO 2005/065844 



PCT/EP2004/007964 



Hohe und der Kontur von beliebigen Bauteilen ermoglicht werden, auch wenn diese fur eine Obli- 
che Bildbearbeitung ohne zusatzliche Projektion nicht auswertbar ist. 

DarQber hinaus ist es besonders vorteilhaft, wenn die Referenzkontur von nur einer ersten Kame- 
ra in Vorlaufrichtung zur Regelung des Verlaufs der aufeubringenden Struktur gemaft der Refe- 
renzkontur ermittelt wird, und wobei von der ersten Kamera lediglich ein Streifen des Bildes zur 
Online-Regelung des Auftragens der Kleberstruktur aufgenommen wird. Durch diesen Partial- 
Scan bzw. ein teilweises Auslesen des Bildaufnahmechips mQssen nur geringe Datenstrome 
verarbeitet werden, so dass die Bildaufnahmefrequenz um ein vielfaches erhoht werden kann. 
Dabei erfolgen die Bildaufnahmen in definierten festen Zeitabstanden und sind unabhangig von 
der Geschwindigkeit der Auftragseinrichtung bzw. der Robotergeschwindigkeit. 

Wenn von der zweiten Kamera lediglich ein Streifen des Bildes zur Online-Oberwachung der auf- 
gebrachten Struktur verwendet wird, kann sowohl der Klebstoffauftrag mit hoher Geschwindigkeit 
als auch die NahtfUhrung mit hoher Geschwindigkeit Online erfolgen, da beide Kameras eine 
hochfrequente Bildaufnahme und eine schnelle Auswertung mit nur einem Sensor mit zwei Ka- 
meras ermSglichen. Dabei wird parallel zur Online-Inspektion der aufgetragenen Dichtmittelspur 
im Vorlauf eine Referenzkante ermittelt und die Differenzwerte dem Roboter zur Korrektur der 
Bahn weitergeleitet, so dass die Genauigkeit des Dichtmittelauftrags wesentlich erhoht werden 
kann und eine Materialreduzierung erzieltwird. Durch dieses nurteilweise Auslesen des Bildauf- 
nahmechips der einzelnen Kameras konnen synchron und parallel von alien Kameras gleichzeitig 
bei hoher Bildaufnahmerate Bilder erfasst werden. 

Gem£ft einer vorteilhaften AusfQhrungsform, werden die Streifen der Bilder der Kameras unter 
Bildung einer einzigen Bildsequenz aufgenommen und wobei die Bildaufnahmefrequenz entspre- 
chend der Datenverminderung durch die Aufnahme von lediglich einem Streifen des Bildes er- 
hoht wird, um die Geschwindigkeit der automatischen Aufbringung und Oberwachung des Dicht- 
mittelauftrags zu erhohen. Durch die Speicherung einer einzigen Bildsequenz fur alle Kameras 
konnen die jeweiligen Bilder der einzelnen Kameras ortsabhangig gemass dem Verfahren der 
Auftragseinrichtung entsprechend zugeordnet werden. 

Wenn jede Kamera nur einen Teil, insbesondere in etwa ein Drittel, Viertel oder Funftel, der Bild- 
zeilen als Streifen des Bildes verwendet, wird die Bildaufnahmefrequenz entsprechend verviel- 
facht, insbesondere im wesentlichen verdreifacht, vervierfacht oder verfQnffacht . 

Ferner ist es von Vorteii, wenn eine Parametrierung und eine Aufnahme der Auftragsbahn in ei- 
nem einzigen Bildaufnahmelauf erfolgt, wobei die Bilder aller Kameras in einer Bildsequenz ge- 
speichert werden. 
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Die gespeicherte Bildsequenz verwendet erfindungsgemaft fOr die Parametrierung den Roboter- 
verfahrweg und/oder die Roboterverfahrzeit Oder die Roboterkoordinaten, die Position, den Kon- 
trast, den Grauwert oder Farbwert, die Breite und Gute der aufgetragenen Struktur. 

Durch die geringen zu verrechnenden Daten konnen aufgrund der hohen Bildaufnahmefrequenz 
vergleichsweise kurze Teilabschnitte des Dichtmittelauftrags und auch der Referenzkontur bzw. 
FQgenaht aufgenommen werden, die beispielsweise zwischen 1 mm und 3 mm liegen. Des wei- 
teren ist es von Vorteil, wenn die aufeubringende Struktur durch die Parametrierung im wesentli- 
chen in einer Vektorkette abgelegt wird, wobei eine hohe Bildaufnahmefrequenz und kurze Teil- 
abschnitte von im wesentlichen zwischen 0,5 mm und 4 mm, insbesondere 1 und 3 mm vorge- 
nommen werden. Die Vektorisierung hat den Vorteil, dass die Klebstoffspur in Form einer Vektor- 
kette in eine kameraubergreifenden, globalen Koordinatensystem abgelegt werden kann. Im Ge- 
gensatz dazu, wird herkommlicherweise lediglich ein lokales kamerabildbezogenes Koordinaten- 
system bisher verwendet. ErfindungsgemafJ ist es dadurch moglich, dass nach einem Tausch 
des Sensorkopfs lediglich eine Rekalibrierung bzw. Neukalibrierung erfolgen muss, ohne dass 
die Klebstoffspur neu eingelernt werden muss. 

GemaG einer weiteren AusfQhrungsform ist es vorteilhaft, wenn drei Kameras verwendet werden, 
wobei jede Kamera sowohl fur die Regelung in Vorlaufrichtung gemafc der Referenzkontur als 
auch fQr die Oberwachung der aufgetragenen Struktur in Nachlaufrichtung verwendet wird, bzw. 
verwendet werden kann, wobei die drei Kameras jeweils einen Oberlappungsbereich zur be- 
nachbarten Kamera auf einer Kreisbahn aufweisen. Als Folge davon, kann ein Sensor mit drei 
Kameras fest an der Auftragseinrichtung angebracht werden, da jede einzelne Kamera sowohl 
die Regelung der Nahtfuhrung als auch die Online-Oberwachung des Dichtmittelauftrags Qber- 
nehmen kann. Vorteilhafterweise bilden die Winkelwerte der Kreisbahn von 0 bis 360° ein globa- 
les Koordinatensystem, wobei den Bildern der einzelnen Kameras ein Segment der Kreisbahn 
zugeordnet wird, urn auf dieser Kreisbahn entweder die Nahtfuhrung oder die Dichtmitteluberwa- 
chung durchzufuhren. Folglich sind dabei von den drei Kameras jeweils zwei fQr die Auswertung 
aktiv, namlich eine fur die Nahtfuhrung und eine andere fQr die Oberwachung des Dichtmittelauf- 
trags. 

Ein weiterer Vorteil besteht darin, dass bei dem Verlauf der Referenzkontur oder der Kleberspur 
von einer Kamera zur nachsten Kamera automatisch umgeschaltet wird, d.h., dass die Aktivie- 
rung von der einen Kamera auf die andere Kamera Qbergeben wird, wenn der Verlauf der Auf- 
tragsstruktur oder der Referenzkontur von dem Segment der Kreisbahn einer Kamera Qber den 
Oberlappungsbereich in das Segment der Kreisbahn einer anderen Kamera Uberwechselt. 

Dadurch dass die Bildaufnahmen sehr kurz hintereinander stehen Qeweils alle 0,5 bis 4, insbe- 
sondere 1 bis 3 mm), kann man davon ausgehen, dass sich die Lage der Klebstoffspur bzw. der 
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FQgekante nicht zu stark andern kann, was den Informationsgehalt bzw. die Zuverlassigkeit des 
A-Priori-Wissens deutlich erhoht, so dass vorauszusehen 1st, wo die Spur liegen wird. Ein positi- 
ver Effekt davon ist, dass auch ohne Expertenwissen eines Menschen der Rechner vollautoma- 
tisch die Lage der Spur erkennen kann, da diesem bereits bekannt ist, wo die Spur im nachsten 
Bild ungefahr verlaufen wird. Dadurch kann der Suchbereich eingeschrankt und die Auswertege- 
schwindigkeit erhoht werden. 

Erfindungsgemafc ist eine Vorrichtung zum automatischen Aufbringen und Oberwachen einer auf 
einem Substrat aufeubringenden Struktur, vorzugsweise Kleberraupe Oder Kleberspur, zur Durch- 
fQhrung des erfindungsgemafcen Verfahrens vorgesehen, wobei zumindest ein Beleuchtungsmo- 
dul und eine Sensoreinheit vorgesehen ist, und wobei die Sensoreinheit aus zumindest zwei Ka- 
meras aufgebaut ist, welche urn eine Auftragseinrichtung zum Auftragen der auf dem Substrat 
aufzubringenden Struktur vorgesehen sind und an dieser derart angeordnet sind, dass zumindest 
eine Kamera in Vorlaufrichtung zur Regelung der Auftragseinrichtung mittels einer Referenzkon- 
tur und zumindest eine Kamera in Nachlaufrichtung zur gleichzeitigen Online-Oberwachung der 
auf dem Substrat aufgebrachten Struktur vorgesehen ist. Mit Wife der erfindungsgemaSen Vor- 
richtung kann somit beispielsweise eine NahtfQhrung als Referenzkontur fur die Steuerung der 
Auftragseinrichtung bzw. RoboterfQhrung und gleichzeitig eine Online-Kontrolle des Dichtmittel- 
auftrags vorgenommen werden, so dass es aufgrund der NahtfQhrung zu einer Materialreduzie- 
rung des Dichtmittelauftrags kommt, da die Breite der Klebstoffspur aufgrund der FQhrung der 
Auftragseinrichtung verringert werden kann. 

Wenn sich die optischen Achsen der einzelnen Kameras in Blickrichtung im wesentiichen mit der 
axialen Langsachse der Auftragseinrichtung schneidet oder die optischen Achsen der einzelnen 
Kameras parallel zueinander ausgerichtet sind, und insbesondere senkrecht auf das Substrat 
ausgerichtet sind, so ist es gemafc einer derartigen Weiterbildung vorteilhaft, dass ein enger Be- 
reich urn die Auftragseinrichtung mit geeigneter Auflosung und hoher Bildaufnahmefrequenz Q- 
berwacht werden kann. 

GemafJ einer bevorzugten AusfQhrungsform sind einzelne Kameras, insbesondere 3 Kameras, in 
Umfangsrichtung in jeweils gleichem Abstand voneinander angeordnet. 

Vorteiihafterweise werden die einzelnen Kameras derart zusammenwirken, dass die Bilder der 
Kameras in einer Bildsequenz gespeichert werden, wobei diese Bilder softwareseitig aus den drei 
synchron aufgenommenen und parallel eingezogenen Teilabschnitten der einzelnen Kameras 
zusammengesetzt sind. 

Wenn eine Projektionseinrichtung an der Auftragseinrichtung vorgesehen ist, welche einen oder 
mehrere Merkmale, insbesondere Streifen, auf das Substrat fQr die dreidimensionale Auswertung 
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projiziert, dann konnen beliebige Bauteile far eine Korrektur bzw. Justierung der Auftragseinrich- 
tung vor dem Aufbringen der Struktur verwendet werden. 

Gemafc einer bevorzugten AusfQhrungsform sendet die Projektionseinrichtung eine oder mehrere 
Laserlinien zur dreidimensionalen Profilauswertung aus. Wenn zumindest zwei Projektionsein- 
richtungen rund urn die Auftragseinrichtung angeordnet sind, dann wird eine lUckenlose dreidi- 
mensionaie Auswertung um die Auftragseinrichtung ermogiicht, wobei die Auswertung von 
Dichtmittelhohe und Dichtmittelkontur sowie Lage und Breite nach dem Triangulationsprinzip 
mittels Bildverarbeitung vorgenommen werden kann. 

Gemafc einer Ausgestaltung einer Erfindung sind die Kameras derart um die Auftragseinrichtung 
angeordnet, dass zumindest eine im wesentlichen kreisformige Kantenantastung, insbesondere 
in Form eines Kreiscalipers gebiidet wird, dessen Mittelpunkt die Auftrageinrichtung der Struktur 
bildet. Dabei konnen ein oder mehrere kreisformige Caliper verwendet werden, die es ermogli- 
chen, dass die Ermittlung der Kante der Kleberspur auf einer Kreisbahn stattfindet. 

GemSS einer bevorzugten AusfQhrungsform weisen die einzelnen Kameras einen Oberlappungs- 
bereich von jeweils 30° bis 90°, insbesondere im wesentlichen 60°, zur nachsten Kamera auf. 
Dieser Oberlappungsbereich ermogiicht ein vollautomatisches Umschalten von benachbarten 
Kameras, wenn die Klebstoffspur von dem Oberwachungsbereich einer Kamera in den nachsten 
verlauft, da die Auswahl der Kamera nicht gebunden an die Roboterposition oder eine zeitliche 
Komponente gebunden ist, sondern sich auf die aktuellen Inspektionsergebnisse bezieht, d.h. auf 
der Anordnung auf der Kreisbahn des Kreiscalipers bzw. auf dem dadurch gebildeten globalen 
Koordinatensystem. 

Ferner ist es von Vorteil, wenn das Beleuchtungsmodul aus LEDs, insbesondere Infrarot-LEDs, 
UV-LEDs Oder RGB-LEDs aufgebaut ist. 

DarGber hinaus ist es von Vorteil, wenn zur Kalibrierung der einzelnen Kameras fCir die Zuord- 
nung der Winkelzugehorigkeit eine Kalibrierscheibe mit einzelnen Formelementen verwendet 
wird, wobei diese Formelemente insbesondere einen Winkelabstand von im wesentlichem 10° 
aufweisen. Dadurch kann der Skalierungsfaktor, die Winkelzugehorigkeit und der Mittelpunkt 
sowie der Radius des Suchkreises fur die einzelnen Kameras zugeordnet werden. Erfindungs- 
gemafc weist die Kalibrierscheibe zumindest drei Markierungsstellen auf, die in einem Kreisbogen 
der Kalibrierscheibe von im wesentlichen 0°, 120° und 240° angeordnet sind, um drei Kameras 
zu kalibrieren. 

Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der ubrigen UnteransprQ- 
che. 
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Anhand der nachfolgenden Zeichnungen werden beispielhaft vorteilhafte Ausgestaltungen der 
Erfindung dargestellt. 

Figur 1 zeigt eine schematische Seitenansicht einer erfindungsgemaften Vorrichtung zum Auftra- 
gen und Oberwachen einer Klebstoffspur. 

Figur 2 zeigt eine perspektivische Ansicht der erfindungsgemafcen Vorrichtung von Figur 1 . 

Figur 3 zeigt den Verfahrweg der erfindungsgemafSen Vorrichtung zum Aufbringen und Oberwa- 
chen einer Klebstoffspur. 

Figur 4 zeigt einen anderen Verfahrweg der erfindungsgemaften Vorrichtung bzgl. des Umschal- 
tens der relevanten Kameras. 

Figur 5 ist eine Darstellung eines einzigen Bildes, das aus drei Bildstreifen von drei Kameras zur 
NahtfQhrung und Online-Oberwachung des Dichtmittelauftrags an einer Bauteilkante zusammen- 
gesetzt ist. 

Figur 6 ist eine weitere Darstellung eines einzigen Bildes, das aus drei Bildstreifen von drei Ka- 
meras zusammengesetzt ist, wobei zwei Qberlappende Bauteile verklebt werden. 

Figur 7 zeigt schematisch eine erfindungsgemafce Kalibriervorrichtung zum kalibrieren der ein- 
zelnen Kameras der erfindungsgema&en Vorrichtung zum Aufbringen und Oberwachen einer auf 
einem Substrat aufzubringenden Struktur. 

Figur 8 zeigt eine Draufsicht hinsichtlich des Grundprinzips der Nahtverfolgung. 
Figur 9 zeigt eine Draufsicht hinsichtlich dem Prinzip der 3D-Lageerkennung. 
Figur 10 zeigt eine Draufsicht hinsichtlich der Profilauswertung. 

Figur 11 stellt eine schematische Seitenansicht der erfindungsgemafcen Vorrichtung mit Projekti- 
onseinrichtung dar. 

Figur 12 zeigt eine schematische Draufsicht mit einer kreisfdrmig aufgebrachten Projektion. 

Im Weiteren wird nun der Aufbau der erfindungsgemaften Vorrichtung zum Erkennen einer auf 
einem Substrat aufzubringenden Struktur gemafi den Figuren 1 und 2 erlautert. 
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Mit dem Bezugszeichen 10 ist die schematisch dargestellte Vorrichtung zum Aufbringen und 0- 
berwachen einer Kleberspur gezeigt. Dabei ist im Zentrum der erfindungsgemafcen Vorrichtung 
eine Auftragseinrichtung 11 angeordnet, durch welche eine Klebstoffspur 20 auf ein Substrat 
bzw. auf ein Blech 30 in der Fig. 1 von rechts nach links aufgebracht wird. Urn die Auftragsein- 
richtung 11 sind in einem Kreis drei Kameras 12, 13, 14 in gleichmafcigem Abstand angeordnet, 
die auf die Auftragseinrichtung 11 jeweils ausgerichtet sind. Wie aus Figur 1 ersichtiich, schnei- 
den sich die axialen LSngsachsen der drei Kameras 12, 13, 14 mit der axialen Langsachse der 
Auftragseinrichtung 1 1 unmittelbar unterhalb des Substrats 30, sodass der Fokus der einzelnen 
Kameras unmitteibar urn den Bereich der Auftragseinrichtung 11, insbesondere auf einer Kreis- 
bahn, angeordnet ist. 

Bei der Klebstoffinspektion wird nun entweder die Auftragseinrichtung mit den Kameras oder das 
Substrat verfahren, wobei gleichzeitig die Klebstoffspur 20 auf das Substrat 30 mittels der Auf- 
tragseinrichtung 11 aufgebracht wird und wobei die Kameras 12, 13, 14 die aufgebrachte Struktur 
Qberwachen. Es ist hierzu moglich, die Auftragseinrichtung mit den Kameras oder das Substrat 
zu verfahren, urn die Klebstoffspur in einem gewunschten Verlauf auf dem Substrat 30 aufzubrin- 
gen. Bei dem erfindungsgema&en Verfahren wird nun von einer ersten Kamera in Vorlaufrich- 
tung, in diesem Fall nach links eine Referenzkontur bzw. Referenzlinie oder Referenzkante von 
Kamera 14 ermittelt, urn den Verlauf der aufeubringenden Struktur gemaB der Referenzkontur zu 
regeln, wobei die von der ersten Kamera aufgenommenen Bilder zur Fuhrung der Auftragsein- 
richtung 1 1 fQr das Auftragen der Klebstoffspur verwendet werden. Simultan zum Ermitteln der 
Referenzkontur wird die Klebstoffspur von der Auftragseinrichtung 1 1 aufgebracht, wobei die 
Auftragseinrichtung 1 1 gemaft den von der ersten Kamera ermittelten Korrekturwerten auf die 
entsprechende Spur bzw. den entsprechenden Klebstoffspurverlauf gebracht wird. Synchron 
hierzu wird die Klebstoffauftragsspur in Nachlaufrichtung von einer zweiten Kamera Qberwacht. 
Dadurch kdnnen die mitfahrenden Kameras simultan mit dem Auftragen, die Klebstoffspur unab- 
hangig von dem Verfahrweg gemalS der Referenzkontur steuern und die Qualitat der Klebstoff- 
spur online Qberwachen. In Fig. 2 verlauft die Klebstoffspur 20 von links nach rechts, wobei diese 
als durchgezogene Linie dargestellt ist. Rechts von der Auftragseinrichtung 1 1 ist der gewUnsch- 
te Verlauf der Klebstoffspur 20 mit gestrichelter Linie angezeigt, welcher auf dem Blech bzw. 
Substrat als Referenzkontur aufgebracht sein kann (beispielsweise per Laser oder als Pragung). 

Figur 3 zeigt nun den Verlauf der Klebstoffspur 20, welcher mittels Pfeilen angezeigt wird, wobei 
an drei Stellen die Ausrichtung bzw. der Sichtbereich der einzelnen drei Kameras dargestellt ist. 
Die Sichtbereiche der einzelnen drei Kameras sind jeweils durch ein Rechteck mit durchgezoge- 
ner Linie, ein Rechteck mit weit gestrichelten Linien und ein Rechteck mit eng gestrichelten Linien 
dargestellt. Wie aus der Figur ersichtiich bleibt die Ausrichtung der einzelnen Sichtbereiche stets 
konstant ausgerichtet, wobei lediglich die gesamte Vorrichtung verfahren wird. 
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Figur 4 zeigt einen weiteren Verlauf einer Klebstoffspur 20, wobei jeweils angezeigt ist, welcher 
Sichtbereich aktiv ist, d.h. welche Kamera mit dem entsprechenden als Rechteck dargestellten 
Sichtbereich beim Abfahren der Klebstoffspur zur Qualitatskontrolle aktiv ist. Ferner ist jeweils 
zumindest eine zweite Kamera fur die NahtfCihrung bzw. den Verlauf der Dichtmittelspur in Vor- 
laufrichtung aktiv, was jedoch aus GrQnden der Obersichtlichkeit nicht dargestellt ist. Es ist jedoch 
ersichtlich, dass die als aktiv angezeigten Kameras in Nachlaufrichtung angeordnet sind und ge- 
mafi dem Verlauf der Klebstoffspur automatisch umgeschaltet werden. In der zur Nachlaufrich- 
tung entgegen gesetzten Vor laufrichtung ist daher jeweils zumindest eine Kamera far die Naht- 
fQhrung und Feinjustierung der Auftragseinrichtung gemaft der vorgegebenen Referenzkontur 
aktiv. 

In Figur 5 sind nun drei Bildstreifen dargestellt, die jeweils einen relevanten Bildausschnitt bzw. 
Bildstreifen der einzelnen drei Kameras von Figur 1 darstellen. Gemafc dem erfindungsgemafcen 
Verfahren wird von jeder Kamera lediglich ein Streifen des Bildes aufgenommen, urn fUr eine 
entsprechende Datenverminderung zu sorgen, sodass die Aufnahmefrequenz erhoht werden 
kann. Diese einzelnen Bildstreifen der drei Kameras werden zu einem Bild zusammengefugt, 
wobei die Bildaufnahmen in definierten festen Zeitabstanden und unabhangig von der Roboter- 
steuerung fQr die Auftragseinrichtung erfolgen. Beispielsweise nehmen die Kameras lediglich 
einen Steifen des Bildes auf, wobei an Stelle einer Bildhohe von 480 Bildpunkten eine Bildhohe 
von rund 100 Bildpunkten (100 Bildzeilen) verwendet wird. Durch diese Partial-Scan-Technik, d.h. 
ein teilweises Auslesen des Bildaufnahmechips, entstehen nur geringe Datenstrome, so dass die 
Bildaufnahmefrequenz urn das entsprechende vielfache erhoht werden kann. Durch synchrone 
Bildaufnahme und parallelen Biideinzug konnen die drei Bildstreifen untereinander zu einem ein- 
zigen Bild zusarnmengefQgt werden. Als Folge davon sind die drei Bilder, d.h. die drei Bildstrei- 
fen, sofort hinsichtlich des Ortes und der Zeit gemass dem Verfahrweg der Auftragseinrichtung 
zueinander richtig angeordnet sowie zugeordnet und konnen entsprechend verarbeitet werden. 
Diese spezielle Bildaufnahmetechnik ermoglicht somit das gleichzeitige und parallele Aufnehmen 
einzelner Kamerabilder, wodurch es erzielt wird, dass die Bildaufnahmefrequenz sowohl far die 
FQhrung bzw. die Regelung der Auftragseinrichtung als auch fQr die Online-Oberwachung des 
aufgetragenen Klebstoffs erhoht wird, wobei die Bilder aller Kameras in einer Bildsequenz ge- 
speichert werden. 

Wenn die Bilder der drei Kameras in einer Bildsequenz gespeichert worden sind, wird beim Ein- 
lernen der Referenzkleberspur anschliefcend eine Parametrierung dieser Referenzspur durchge- 
fuhrt. Far die Parametrierung wird der Roboterverfahrweg, die Roboterverfahrzeit, die Richtung, 
die Breite und die Gate der Klebespur verwendet. Somit ergibt sich fQr die Kleberspur eine Art 
Vektorkette, wodurch es moglich ist, die hohe Bildaufnahmefrequenz und die vergleichsweise 
kurzen Teilabschnitte (zwischen 1 und 3 mm) zu erzielen. Die Vektorvisierung hat ferner den 
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Vorteil, dass die Kleberspur in Form einer Vektorkette in einem kameraubergreifenden, globalem 
Koordinatensystem abgelegt werden kann. 

Wie aus Figur 5 ersichtlich ist, welche eine Nahtfuhrung an einer Bauteiikante darstellt, wird in 
dem mittleren Streifen von Figur 5 online die Nahtinspektion ausgefuhrt, wobei das Kreissegment 
den Bereich darstellt, in welchem die erste Kamera far die Klebstoffuberwachung sorgt. 

Auftragseinrichtungen bzw. Roboter arbeiten intern mit einem Interpoiationstakt von beispielswei- 
se 12 ms. Schneiler als dieser Interpoiationstakt kann die Regelung der NahtfQhrung gemafc dem 
unteren Streifen von Fig. 5 nicht erfolgen. Bei einer maximalen Roboterfahrgeschwindigkeit von 
700 mm/s bedeutet dies nur, dass in 12 ms ein Weg von 8,4 mm zurUck gelegt wird. Wird also 
zum Zeitpunkt x ein Korrekturwert ermittelt, so kann die Korrektur erst mit dem nachsten Interpo- 
iationstakt erfolgen, also 8,4 mm nach Ermittlung des Wertes. Dies hat zur Folge, dass die Erfas- 
sung der Referenzkante mindestens 8,4 mm vor der Duse erfolgen muss. Dieser Bereich wird 
durch die Anordnung der optischen Sensorik abgedeckt und durch den schnellen Auswertezyklus 
(< 5ms) werden Korrekturwerte rechtzeitig zur Verfugung gestellt. Da die Kameras ortsfest urn 
die Auftragseinrichtung angebracht sind, verandert sich der Verlauf der Klebstoffbahn, wobei die 
Nahtkorrektur daher in dem ersten Streifen gemaft der ersten Kamera in den zweiten Streifen 
gema& der zweiten Kamera oder in dem dritten Streifen gemafc der dritten Kamera durchgefQhrt 
werden kann. Wie bereits hinsichtlich der Online-Oberwachung des Klebstoffauftrages beschrie- 
ben, wird folglich jeweils eine andere Kamera fur die Nahtkorrektur aktiv, wenn die Referenznaht 
aus dem Sichtbereich der einen Kamera in den Sichtbereich der anderen Kamera wandert. 

Der unterste Streifen von Fig. 5 zeigt auf der senkrechten Linie zur Kante des Bauteils ein helles 
Kreuz unmittelbar an der Bauteiikante, welches fQr die NahtfQhrung als Referenzkante verwendet 
wird. Parallel dazu wird in dem mittleren Streifen von Fig. 5 online die Nahtinspektion zur Ober- 
prQfung des Dichtmittelauftrags ausgefuhrt. 

Falls die Kleberspur nun aus dem Sichtbereich einer Kamera lauft, befindet sich die Kleberspur 
Qbergangsweise im Oberlappungsbereich der Winkelbereiche der beiden Kameras. Wenn nun 
die Kleberspur von dem Segment der Kreisbahn der einen Kamera uber den Oberlappungsbe- 
reich in das Segment der Kreisbahn einer anderen Kamera verlauft, wird von der einen zur ande- 
ren Kamera automatisch umgeschaltet. Dies ist insbesondere in Figur 4 durch die aktiven Sicht- 
bereiche der einzelnen Kameras dargestellt. 

Die obigen Vorteile werden dadurch erzielt, dass die einzelnen Kameras einen Kreiscaliper bil- 
den, dessen Mittelpunkt die Auftrageinrichtung 11 bildet, wobei die Suche sowohl nach der Refe- 
renzkante als auch nach den Kanten der Klebstoffspur auf einer Kreisbahn unmittelbar urn die 
Auftragseinrichtung erfolgt. Hierzu ist es wesentlich, dass die einzelnen Kameras auf die Auf- 
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tragseinrichtung ausgerichtet sind, wobei sich die axialen Langsachsen der einzelnen Kameras 
mit der Langsachse der Auftragseinrichtung schneiden. 

FQr die erfindungsgemafie Vorrichtung ist das nicht gezeigte Beleuchtungsmodul aus LEDs, ins- 
besondere Infrarot-LEDs, UV-LEDs oder RGB-LEDs, aufgebaut. Urn moglichst geringe Bewe- 
gungsunscharfe bzw. hohe Kontraste bei der Bildaufnahme zu erhalten, konnen die LEDs geblitzt 
werden, d.h., dass kurze, starke Stromimpulse auf die Dioden im Bereich von 1,0 bis 0,01 ms 
aufgebracht werden. Dabei sind insbesondere derartige Leuchtdioden vorteilhaft, die verschie- 
denfarbiges Licht emittieren konnen, sodass der Sensoraufbau ohne Umbauten auf andere Kle- 
bertypen bzw. Kieberfarben umgestellt werden kann. 

Im Folgenden wird nun eine Teach-in-Lauf bzw. ein Einlernen einer Referenzkleberspur erlautert. 

Der Einlernvorgang der Referenzkleberspur kann durch Markieren der Spur vom Bediener be- 
gonnen werden, wodurch die Lage der Kleberspur angezeigt wird. Dies ist ausreichend, um in 
den nachsten Kamerabildern die Position und Richtung der Kleberspur voll automatisch zu er- 
kennen, da die Bildaufnahmefrequenz entsprechend hoch ist und die einzelnen Bildaufnahmen 
sehr kurz hintereinander stattfinden, beispielsweise alle 1 mm bis 3 mm. Ab dem Startpunkt findet 
Bild fQr Bild die Kleberantastung statt, wobei die im aktuellen Bild gefundene Kleberspurposition 
und Kleberspurwinkel als A-Priori-Wissen fQr das kommende Bild verwendet wird. Somit wird das 
vollautomatische Erfassen der Kleberspur moglich, ohne dass ein Mensch das Bild bzw. die Lage 
der Kleberspur ermitteln bzw. bewerten muss. Als Folge davon kann der Suchbereich einge- 
schrankt bzw. angepasst werden. 

In Figur 6 ist eine NahtfQhrung im Oberlappungsbereich von zwei Bauteilen insbesondere an ei- 
nem Stoss von zwei Bauteilen dargestellt Die zweite Kamera zeigt den gemafc den Partial- 
Scanverfahren ausgelesenen Streifen derzweiten Kamera, in welchem die Position der Oberlap- 
pung der beiden Bleche zur NahtfQhrung als Refernzkontur bzw. Referenzkante ermittelt wird. Im 
untersten Streifen von Fig. 6 ist der Streifen der dritten Kamera dargestellt, in welchem parallel 
zur NahtfQhrung die aufgetragene Dichtmittelspur ausgewertet wird. Hierzu ist das Kreissegment 
in dem untersten Streifen dargestellt, in dessen Mitte die Kleberspur verlauft, was durch einen 
Kreis angezeigt ist. In dem obersten Streifen von Fig. 6 ist der Bildaufnahmestreifen der ersten 
Kamera dargestellt. 

Figur 7 zeigt eine Kalibriereinrichtung 40 in Form einer kreisformigen Kalibrierscheibe, um den 
einzelnen Kameras ihren Skalierungsfaktor, ihre Winkelzugehorigkeit und den Mittelpunkt sowie 
den Radius des Suchkreises zuzuordnen. Die Kalibrierscheibe besteht aus einzelnen auf einer 
Kreisbahn angeordneten Formelementen bzw. Dots 41, die jeweils in einem Winkelabstand von 
im wesentlichen 10° angeordnet sind. In gleichmaftigen Abstand voneinander sind ferner Markie- 
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rungsstellen 42 angeordnet, um drei Kameras zu kaiibrieren. Mittels einer Ausgleichsrechnung 
wird aus den Koordinaten der Mittelpunkte der einzelnen Dots zum einen der Skalierungsfaktor 
der einzelnen Kameras zum anderen der Mittelpunkt sowie der Radius des Suchbereichs be- 
rechnet. Durch die Markierungsstellen im Winkel von 0°, 120°, 240° im globalem Koordinatensys- 
tem kann die Winkelzuordnung und der jeweilige Sichtbereich der einzelnen Kameras bestimmt 
werden. Der Sichtbereich der einzelnen Kameras ist insbesondere durch die drei Rechtecke in 
Figur 7 dargestellt, wobei die Formelemente 41 der Kreisbahn des Kreiscalipers zur Erfassung 
der Klebstoffspur entsprechen konnen. 

Um die Auftragseinrichtung 11 sind in Fig. 8 jeweils in Strichpunktlinie drei Streifen um die Auf- 
tragseinrichtung dargestellt, welche den Auslesebereich fQr den Partial-Scan der einzelnen Ka- 
meras darstellen. Der Streifen 31 der ersten Kamera ermittelt die Referenzkante 35, um die Auf- 
tragseinrichtung gemaft dem Verlauf der Referenzkante entsprechend zu steuern bzw. zu regeln. 
Bildstreifen 31 ist daher in Vorlaufrichtung ausgerichtet und vermisst die Lage der Referenzkante 
bzw. des Falzes 35, so dass die Auftragseinrichtung 1 1 das Dichtmittel auf die gemaG der Refe- 
renzkontur 35 korrigierte Bahn auftragt. Nach Korrektur der Roboterbahn bzgl. der Karossenposi- 
tionierung erfolgt die Fugenahterkennung durch Anfahren der ersten Position und Aktivierung der 
Nahtfuhrung. Die Roboterbahn erhalt nach Freigabe des Ablaufes (Naht wird erkannt) kontinuier- 
lich Korrekturwerte senkrecht zur eingelernten Auffcragsrichtung. Dabei kann der Fangbereich ± 
15mm betragen und wobei der Regelbereich < als ± 1 mm ist. Die Kommunikation zwischen dem 
Bildverarbeitungssystem und der Robotik bzw. Auftragseinrichtung erfolgt beispielsweise durch 
eine normierte Ethernet-Schnittsteile mittels XML-Protokoll. In Nachlaufrichtung sind die beiden 
Bildstreifen 32 und 33 gezeigt, welche sich im Bereich der Dichtmittelspur 20 schneiden 

Die OnlineQberwachung einer aufgebrachten Klebstoffspur wird nun kurz erlautert. Die in Figur 1 
gezeigte Auftragseinrichtung 11 bringt die Klebstoffspur auf das Blech 30 auf, wobei die Auf- 
tragseinrichtung 11 mit den Kameras Qber dem Blech 30 verfahren wird und gemaS der Refe- 
renzkontur geregelt wird. Jedoch ist auch eine kinematische Umkehr moglich, d.h., dass das 
Blech 30 verfahren wird und die Auftragseinrichtung mit den Kameras ortsfest angeordnet ist. Die 
aufgetragene Klebstoffspur 20 wird von einer der Kameras 12, 13, 14 auf der gemaft Figur 5 er- 
lauterten Kreisbahn des Kreiscalipers ermittelt und ausgewertet, wobei von jeder Kamera jeweils 
lediglich ein Streifen des Bildes aufgenommen wird und in einem einzigen Bild zusammengefQgt 
wird. Entsprechend der Datenverminderung durch die Aufnahme von lediglich einem Streifen des 
Bildes jeder Kamera wird die Bildaufnahmefrequenz erhoht, wobei die einzelnen Bildstreifen in 
dem zusammengefQgten Bild das synchrone und parallele sowie gleichzeitige Erfassen der drei 
Kamerabilder ermoglichen und wobei die einzelnen Bilder der drei Kameras unmittelbar ortsab- 
hangig zugeordnet werden konnen. Somit wird eine NahtfQhrung und OnlineUberprufung der 
Klebstoffspur in Echtzeiten moglich, welche durch die hohe Bildaufnahmefrequenz sowohl bei 
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Regelung gemafc der Referenzkante als auch beim OberprUfen der aufgebrachten Kleberspur 
eine hohe Genauigkeit bei hohen Verfahrgeschwindigkeiten erzielt. 

Fig. 9 zeigt nun das Grundprinzip der 3D-Lageerkennung, welche vor dem Dichtmittelauftrag 
erfolgt. Da die Bleche, beispielsweise Rohkarossen von Fahrzeugen, von der Fordertechnik nicht 
stets in der gleichen Position positioniert werden und die Lage der FQgenahte toleranzbehaftet 
ist, erweist sich eine Grobjustierung bzw. Grobpositionierung der erfindungsgemaften Vorrichtung 
als vorteilhaft Hierzu werden die Kamerabildfelder auf GroGbild bzw. Standardgrofce oder Vollbild 
umgestellt, was jeweils durch die gestrichelte Linie 51 bzw. 52 dargestellt ist. Das Standardkame- 
rabildfeld 51 zeigt den erweiterten Sichtbereich einer Kamera, welche nach dem partial-scan Ver- 
fahren lediglich den entsprechenden Streifen 31 ausliest. Analog hierzu ist der Streifen 32 im 
Verhaltnis zu dem Standardkamerabildfeld 52 verkleinert. Beispielsweise wird der Bildstreifen 31 
bzw. 32 mit Hilfe einer geeigneten Software auf beispielsweise die halbe Breite und 1/5 der Hohe 
verkleinert. Aus Grunden der Obersichtlichkeit ist das entsprechende Standardkamerabildfeld 53 
mit dem entsprechenden Bildstreifen 33 weggelassen worden. Bei der 3D-Lageerkennung wird 
ein beliebiges Merkmal 60 vermessen, welches sich in dem uberlappenden Sichtbereich der bei- 
den Kamerabildfelder 51 und 52 befindet Da sich die beiden Kamerabildfelder 51 und 52 in dem 
Bereich des Merkmals 60 Gberlappen, kann das Verfahren der Stereometrie verwendet werden, 
urn eine dreidimensionale Auswertung, beispielsweise eines Loches oder einer Bauteilkante zu 
ermoglichen. Wenn beispielsweise eine Naht von zwei Bauteilen erkannt worden ist, so kann die 
Auftragsvorrichtung mit Hilfe der optischen Sensorik eine automatische Positionskorrektur vor- 
nehmen, urn daraufhin die Bahnkorrektur der Roboterbahn bzw. Auftragseinrichtungsbahn online 
vorzunehmen, wie in Fig. 8 beschrieben. Gleichzeitig kann die identische Sensorik online die 
Qualitatskontrolle der Nahtabdichtung durchfQhren wie ebenso gemaft Fig. 8 beschrieben. Somit 
ist far eine Positionskorrektur der Auftragseinrichtung und die Onlineregelung der Verlaufsbahn 
der Auftragseinrichtung sowie die OnlineOberwachung des Dichtmittelauftrags mit einer einzigen 
Sensorik mSglich, welche beispielsweise aus drei Kameras aufgebaut ist, die urn die Auftragsein- 
richtung ortsfest angebracht sind. Dabei wird erfindungsgemafc lediglich ein Streifen des Bildes 
31, 32, 33 aufgenommen, urn geringe Datenstrome zur Bildaufnahmefrequenzerhohung zu ver- 
wenden. Der Einsatz der partial-scan Technik ermoglicht so beispielsweise eine Bildwiederholra- 
te von in etwa 240 Hz oder niedriger. Die Aufnahmen erfolgen also in definierten festen Zeitab- 
standen und sind unabhangig von der Robotergeschwindigkeit bzw. Auftragseinrichtungsge- 
schwindigkeit. Zusatzlich wird im Auswerterechner eine Bilderfassungskarte (Framegrabber = 
PC-Einsteckkarte zum Einzug von Bildern aus der Kamera) eingesetzt, die es ermoglicht, syn- 
chron und parallel von alien drei Kameras Bilder zu erfassen. Die Bilder werden anschlieBend zu 
einem Bild (3 Streifen untereinander) zusammengefQgt, was den Vorteil ermoglicht, dass jeweils 
drei Bilder sofort einander ortsabhaangig entsprechend zugeordnet sind. 
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Ferner ist es insbesondere ausreichend, beispielsweise die Dichtmittelspur in einem der drei Bil- 
der zu suchen und auszuwerten. Oberschreitet der Winkelwert einen bestimmten Betrag, so wird 
automatisch auf die benachbarte Kamera umgeschaltet. Der Winkelwert wird dabei auf einen 
Vollkreis von 360° bezogen, wodurch sich ein globales Koordinatensystem ergibt. Dabei weist 
jede Kamera einen Oberlappungsbereich zur nSchsten Kamera auf. Die Auswahl der Kamera 
erfoigt nicht gebunden an die Auftragseinrichtungsposition bzw. Roboterposition bzw. gebunden 
an eine zeitliche Komponente, sondern bezieht sich stets auf die aktuellen Inspektionsergebnis- 
se, welche im globalen Koordinatensystem erfasst werden. Da^urch werden Fehier vermieden, 
welche durch die relativ ungenauen Robotersteuerungen bzw. Auftragseinrichtungssteuerungen 
erzeugt werden. 

Gema& den Figuren 10 und 11 wird nun die dreidimensionaie Profilauswertung mit Hilfe einer 
Projektion beschrieben, urn fur eine Positionskorrektur der Auftragseinrichtung zu sorgen, wie 
bereits gemSB Figur 9 erlautert. In Fig. 10 sind aus ObersichtlichkeitsgrQnden wiederum nur zwei 
Kamerasichtfelder 51, 52 gestrichelt dargestellt. Im Oberlappungsbereich der beiden Kamera- 
sichtfelder 51, 52 sind eine Vielzahl von Laserlinien 60 dargestellt, welche zur Profilauswertung 
hinsichtlich der Hohe und der Kontur von Strukturraupen und auf die Erzeugung von sogenann- 
ten Softkonturen verwendet werden. Die Laserlinien 60 werden von einer Projektionseinrichtung 
erzeugt, welche beispielsweise an dem optischen Sensor mit drei Kameras angeordnet sein 
kann. Ferner kann die Projektionseinrichtung jedoch auch unmittelbar an der Auftragseinrichtung 
1 1 angeordnet sein. Der Sensor mit den drei Kameras ist schematisch durch den Kreis 70 darge- 
stellt. Durch die auf das Bauteil 30 bzw. Blech 30 projizierten Laserlinien bzw. Laserstreifen wer- 
den Konturen auf dem Bauteil hervorgehoben, die mit Ciblicher Bildverarbeitung far die dreidi- 
mensionaie Auswertung nicht verwendbar sind. Mit Hilfe der Laserlinien auf dem Bauteil werden 
kunstliche Merkmale erzeugt, die dann mittels der Bildverarbeitung gemafi der Stereometrie aus- 
gewertet werden konnen. Somit zeigt Fig. 10 das Prinzip der dreidimensionalen Lageerkennung 
vor dem Dichtmittelauftrag, falls keine harten, auswertbaren Merkmale vorhanden sind. Im Ge- 
gensatz dazu ist in der bereits erwahnten Fig. 9 eine harte Kontur durch das Merkmal 60 be- 
schrieben worden. 

In Fig. 11 ist die Auftragseinrichtung 11 mit der daran angebrachten Sensoreinheit 70 als Seiten- 
ansicht dargestellt, wobei der Sensor 70 neben den drei Kameras beispielsweise zumindest noch 
zwei Projektionseinrichtungen 61 aufweisen kann, welche Laserlinien auf das Blech bzw. das 
Substrat 30 projizieren, wie schematisch durch die gestrichelte Linie dargestellt. Wenn mehrere 
Projektionseinrichtungen 61 rund urn die Auftragseinrichtung angeordnet sind, kann eine IQcken- 
iose Kontur auf dem Blech 30 erzeugt werden, wodurch aufgrund der Kalibrierung von Sensor 
und Projektionseinrichtung die IQckenlose Kontur zur dreidimensionalen Auswertung verwendet 
werden kann. Folglich zeigt Fig. 11 beispielhaft zwei Projektionseinrichtungen 61. Derartige Pro- 
jektionseinrichtungen konnen beispielsweise einen Laser auf das Substrat bzw. das Bauteil proji- 
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zieren Oder konnen aus einem LED-Modul aufgebaut sein, welches eine Vorsatzlinse zur Erzeu- 
gung einer Linie auf dem Substrat umfasst. 

Die Projektionseinrlchtungen konnen sowohl zur dreidimensionalen Lagekorrektur vor dem 
Dichtmittelauftrag als auch zur Onlinehohen- und -profilauswertung des Dichtmittelauftrags ver- 
wendet werden. Zur dreidimensionalen Lagekorrektur konnen die Projektionseinrichtungen vor- 
zugsweise mehrere Linien projizieren. FQr die Hohenauswertung sollten eine Oder mehrere Pro- 
jektionseinrichtungen vorgesehen sein, die eine Linie oder wie in Fig. 12 dargestellt eine kreis- 
runde Kontur auf das Bauteil bzw. das Substrat projizieren. Dabei konnen sich mehrere Linien fur 
die Auswertung als vorteilhaft erweisen. 

Wie in Fig. 12 gezeigt, kann auch die Dichtmittelhohe bzw. Dichtmittelkontur und Dichtmittellage 
gemass dem Triangulationsprinzip mittels der Bildverarbeitung gleichzeitig bzw. unmittelbar nach 
dem Dichtmittelauftrag ermittelt werden. Hierzu wird eine beispielsweise runde Kontur 63 durch 
die Projektionseinrichtungen auf das Blech 30 aufgebracht, wobei das Dichtmittel bzw. die Dicht- 
mitteispur 20 fur eine Hohen- und Lageveranderung der projizierten Kontur 63 sorgt. Diese gean- 
derte runde Projektionskontur 63 wird wiederum von den einzelnen Objektfeldern der einzelnen 
Kameras ermittelt. Die projizierte Kontur 63 wird dabei durch das Dichtmittel 20 in seiner ur- 
sprdnglichen Form deformiert, so dass sich daraus die Hohe, Kontur, aber auch die Breite und 
die Lage des aufgebrachten Dichtmittels 20 gemass dem Triangulationsprinzip bestimmt werden 
kann. Bei dem Prinzip der Triangulation liegt zwischen der Kamera und der Projektionseinrich- 
tung ein definierter Winkel vor, wobei die Kamera und die Projektionseinrichtung zueinander ka- 
libriert werden. Durch den Winkel erscheinen die durch die Projektionseinrichtung beleuchteten 
Substratkonturen je nach Hohe an unterschiedlichen Stellen auf dem lichtempfindlichen Chip 
bzw. CCD-Chip oder CMOS-Chip der Kamera, so dass durch die Kalibrierung der Kamera und 
der Projektionseinrichtung die Hohe und Kontur des Dichtmittels errechnet werden kann. 

Gemass einer nicht dargestellten AusfQhrungsform kann der aus insbesondere drei Kameras 
aufgebaute Sensor, welcher urn die Auftragseinrichtung angeordnet ist, derart aufgebaut sein, 
dass die optischen Achsen der einzelnen Kameras parallel zueinander ausgerichtet sind, wobei 
die Kameras insbesondere jeweils senkrecht auf das Substrat bzw. Blech ausgerichtet sind. 
Durch eine derartige Anordnung kann der Sensor besonders nah an dem Bereich des Dichtmit- 
telauftrags angeordnet werden, wobei die Sichtbereiche der einzelnen Kameras je nach deren 
Weitwinkel einen mehr oder weniger grofcen Oberlappungsbereich aufweisen. 
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AnsprQche 

1. Verfahren zum automatischen Aufbringen und Oberwachen einer auf einem Substrat auf- 
zubringenden Struktur, vorzugsweise einer Kleberraupe Oder Kleberspur, dadurch gekenn- 
zeichnet, dass 

elne Referenzkontur von zumindest einer ersten Kamera in Vorlaufrichtung ermittelt wird, 
wobei insbesondere eine Bauteilkante vorzugsweise zwischen zwei zu verbindenden Ele- 
menten ermittelt wird, um den Verlauf der aufzubringenden Struktur gemaG der Referenz- 
kontur zu regeln, wobei die von der ersten Kamera aufgenommenen Bilder zur FQhrung ei- 
ner Auftragseinrichtung fQr die aufzubringende Struktur verwendet werden, 

die aufzubringende Struktur von der Auftragseinrichtung gemafi der von der ersten Kamera 
ermittelten Referenzkontur auf das Substrat aufgebracht wird, 

und die durch die Auftragseinrichtung auf dem Substrat aufgebrachte Struktur durch zu- 
mindest eine zweite Kamera in Nachlaufrichtung Gberwacht wird. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzkontur von zumin- 
dest zwei Kameras ermittelt wird, um eine dreidimensionale Positionskorrektur fQr die Auf- 
tragseinrichtung mit Hilfe des Stereometrieverfahrens durchzufuhren. 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die beiden Kameras das Sub- 
strat, einen Bauteilabschnitt oder ein oder mehrere Bauteile als Vollbild Oder GroGbild auf- 
nehmen, wobei die Vollbilder oder Grofcbilder der beiden Kameras einen Oberlappungsbe- 
reich in Vorlaufrichtung aufweisen, wobei sich die im Oberlappungsbereich ergebende 
dreidimensionale Lageerkennung der Referenzkontur zur Justierung der Auftragseinrich- 
tung vor dem Aufbringen der Struktur verwendet wird. 

4. Verfahren nach einem der AnsprQche 1 bis 3 dadurch gekennzeichnet, dass eine Projekti- 
on zur dreidimensionalen Auswertung auf den Bereich der Referenzkontur aufgebracht 
wird, insbesondere eine oder mehrere Laserlinien als Projektion auf das Substrat aufge- 
bracht werden. 

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Referenzkontur von nur 
einer ersten Kamera in Vorlaufrichtung zur Regelung des Verlaufes der aufzubringenden 
Struktur gemaft der Referenzkontur ermittelt wird, und wobei von der ersten Kamera ledig- 
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lich ein Streifen des Bildes zur Online-Regelung des Auftragens der Kleberstruktur 
aufgenommen wird. 

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass von der zweiten Kamera ledig- 
lich ein Streifen des Bildes zur Online-Oberwachung der aufgebrachten Struktur verwendet 
wird. 

7. Verfahren nach Anspruch 5 und 6 dadurch gekennzeichnet, dass die Streifen der Bilder der 
beiden Kameras unter Bildung einer einzigen Bildsequenz aufgenommen werden und die 
Bildaufnahmefrequenz entsprechend der Datenverminderung durch die Aufnahme von le- 
diglich einem Streifen des Bildes erhoht wird. 

8. Verfahren nach zumindest einem der AnsprQche 5 bis 7 dadurch gekennzeichnet, dass 
jede Kamera nur einen Teil, insbesondere in etwa ein Drittel, Viertel oder FQnftel, der Bild- 
zeilen als Streifen des Bildes verwendet und die Bildaufnahmefrequenz entsprechend ver- 
vieifacht wird, insbesondere im wesentlichen verdreifacht, vervierfacht oder verfunffacht 
wird. 

9. Verfahren nach zumindest einem der vorherigen AnsprQche dadurch gekennzeichnet, dass 
eine Parametrierung und eine Aufnahme der Auftragsbahn in einem einzigen Bildaufnah- 
melauf erfolgt, wobei die Bilder aller Kameras in einer Bildsequenz gespeichert werden. 

10. Verfahren nach Anspruch 9 dadurch gekennzeichnet, dass die gespeicherte Bildsequenz 
fur die Parametrierung den Roboterverfahrweg und/oder die Roboterverfahrzeit oder die 
Roboterkoordinaten, die Position, den Kontrast, den Grauwert oder Farbwert, die Breite 
und Gate der aufgetragenen Struktur verwendet. 

11. Verfahren nach Anspruch 9 oder 10 dadurch gekennzeichnet, dass die aufzubringende 
Struktur durch die Parametrierung im wesentlichen in einer Vektorkette abgelegt wird, wo- 
bei eine hohe Bildaufnahmefrequenz und kurze Teilabschnitte von im wesentlichen zwi- 
schen 0,5 und 4mm, insbesondere 1 und 3 mm, vorgenommen werden. 

12. Verfahren nach einem der vorherigen AnsprQche dadurch gekennzeichnet, dass drei Ka- 
meras verwendet werden, wobei jede Kamera sowohl fQr die Regelung in Vorlaufrichtung 
gemafc der Referenzkontur als auch fQr die Oberwachung der aufgebrachten Struktur in 
Nachlaufrichtung verwendbar ist, wobei die drei Kameras jeweils einen Oberlappungsbe- 
reich zur benachbarten Kamera auf einer Kreisbahn autweisen. 



-17- 



WO 2005/065844 



PCT/EP2004/007964 



13. Verfahren nach Anspruch 12 dadurch gekennzeichnet, dass die Winkelwerte der Kreisbahn 
von 0 bis 360° ein globales Koordinatensystem bilden, wobei den Bildern der einzelnen 
Kameras ein Segment der Kreisbahn zugeordnet wird. 

14. Verfahren nach Anspruch 12 oder 13 dadurch gekennzeichnet, dass bei dem Verlauf der 
Referenzkontur oder der Kleberspur von einer Kamera zur nachsten Kamera automatisch 
umgeschaltet wird, wenn der Verlauf der Auftragsstruktur oder der Referenzkontur von dem 
Segment der Kreisbahn einer Kamera Qber den Oberlappungsbereich in das Segment der 
Kreisbahn einer anderen Kamera wechselt. 

15. Vorrichtung zum automatischen Aufbringen und Oberwachen einer auf einem Substrat auf- 
zubringenden Struktur, vorzugsweise einer Kleberraupe oder Kleberspur, zur DurchfQhrung 
eines Verfahrens gemafc den AnsprQchen 1 bis 14, wobei zumindest ein Beleuchtungsmo- 
dul und eine Sensoreinheit vorgesehen ist, dadurch gekennzeichnet, dass die Sensorein- 
heit aus mindestens zwei Kameras aufgebaut ist, wobei die Kameras urn eine Auftragsein- 
richtung fQr die aufzubringende Struktur vorgesehen sind und an dieser derart angeordnet 
sind, dass zumindest eine Kamera in Vorlaufrichtung zur Regelung der Auftragseinrichtung 
mittels einer Referenzkontur und zumindest eine Kamera in Nachlaufrichtung zur gleichzei- 
tigen Online-Oberwachung der auf dem Substrat aufgebrachten Struktur vorgesehen ist. 

16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass sich die optischen Achsen 
der einzelnen Kameras in Blickrichtung im wesentlichen mit der axialen Langsachse der 
Auftragseinrichtung schneiden oder die optischen Achsen der einzelnen Kameras parallel 
zueinander ausgerichtet sind, und insbesondere senkrecht auf das Substrat ausgerichtet 
sind. 

17. Vorrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die einzelnen Ka- 
meras, insbesondere drei Kameras, in Umfangsrichtung in jeweils gleichem Abstand von- 
einander angeordnet sind. 

18. Vorrichtung nach einem der Anspruche 15 bis 17, dadurch gekennzeichnet, dass die ein- 
zelnen Kameras derart zusammenwirken, dass die Bilder aller Kameras in einer Bildse- 
quenz gespeichert werden. 

19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass von jeder Kamera lediglich 
ein Streifen des Bildes unter Bildung eines Teils der Bildsequenz aufgenommen wird. 
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20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass die Bildaufnahmefrequenz 
entsprechend der Datenverminderung durch die Aufnahme von lediglich einem Streifen des 
Bildes erhoht wird. 

21. Vorrichtung nach einem der Ansprtiche 15 bis 20, dadurch gekennzeichnet, dass eine Pro- 
jektionseinrichtung an der Auftragseinrichtung vorgesehen ist, welche einen oder mehrere 
Merkmale, insbesondere Streifen, auf das Substrat fur eine dreidimensionale Auswertung 
projiziert. 

22. Vorrichtung nach Anspruch 21 dadurch gekennzeichnet, dass die Projektionseinrichtung 
eine oder mehre Laserlinien zur dreidimensionalen Profilauswertung aussendet 

23. Verfahren nach Anspruch 21 oder 22 dadurch gekennzeichnet, dass zumindest zwei Pro- 
jektionseinrichtungen rund urn die Auftragseinrichtung angeordnet sind. 

24. Vorrichtung nach einem der Anspruche 15 bis 23, dadurch gekennzeichnet, dass die Ka- 
meras derart urn die Auftragseinrichtung angeordnet sind, dass zumindest eine im wesent- 
lichen kreisformige Kantenantastung, insbesondere in Form eines Kreiscalipers, gebildet 
wird, dessen Mittelpunkt die Auftragseinrichtung bildet, wobei insbesondere die Kameras 
auf einen Kreis urn die Auftragseinrichtung ausgerichtet sind, dessen Mittelpunkt im we- 
sentlichen mit dem Mittelpunkt der Auftragseinrichtung ubereinstimmt. 

25. Vorrichtung nach einem der AnsprQche 15 bis 24, dadurch gekennzeichnet, dass die ein- 
zelnen Kameras einen Oberlappungsbereich von jeweils 30° bis 90°, insbesondere im we- 
sentlichen 60°, zur nachsten Kamera aufweisen. 

26. Vorrichtung nach einem der vorhergehenden Anspruche 15 bis 25, dadurch gekennzeich- 
net, dass das Beleuchtungsmodul aus LEDs, insbesondere Infrarot-LEDs, UV-LEDs oder 
RGB-LEDs aufgebaut ist. 

27. Vorrichtung nach Anspruch 26, dadurch gekennzeichnet, dass die LEDs gebiitzt werden, 
wobei Stromimpulse von im wesentlichen 1,0 bis 0,01 ms verwendet werden. 

28. Vorrichtung nach einem AnsprQche 15 bis 27, dadurch gekennzeichnet, dass zur Kalibrie- 
rung der einzelnen Kameras far die Zuordnung der Winkelzugehorigkeit eine Kalibriervor- 
richtung mit einzelnen Formelementen verwendet wird, wobei die Formelemente insbeson- 
dere einen Winkelabstand von im wesentlichem 10° aufweisen. 
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29. Vorrichtung nach Anspruch 28, dadurch gekennzeichnet, dass die Kalibriervorrichtung zu- 
mindest drei Markierungsstellen aufweist, die in einem Kreisbogen der Kalibriervorrichtung 
von im wesentlichen 0°, 120° und 240° angeordnet sind, urn drei Kameras zu kalibrieren. 



30. Vorrichtung nach Anspruch 29, dadurch gekennzeichnet, dass sich die Markierungsstellen 
auf der Kreisbahn in einem Winkelbereich von jeweils im wesentlichen 10° erstrecken, wo- 
bei die Markierungsstellen insbesondere durch zumindest zwei Formelemente gebildet 
werden. 
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Fig. 5 
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Fig. 6 
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Fig. 8 
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Fig. 9 
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Fig. 10 
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Fig. 12 
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